香农：无缘诺奖的信息论之父，却在不同时空与22位科学家相遇

Original 陈关荣集智俱乐部 2021-02-09

收录于话题

7个

导语

克劳德·埃尔伍德·香农（Claude Elwood Shannon），美国数学家，提出了信息熵的概念，奠定了信息论和数字通信的基础。虽然无缘诺贝尔奖，但香农的研究却与各个领域的顶尖学者产生过交集。陈关荣教授在本文中整理了22位科学家与香农跨时空的“meet”。

美国科学家香农（Claude Elwood Shannon，1916年4月30日－2001年2月26日）以创立信息论而著名。

香农出生于密歇根（Michigan）的湖滨小镇佩托斯基（Petoskey），该地名来自当地印第安人语，意为“旭日之光”。

建立现代信息论

1936年，香农在密歇根大学获得数学与电气工程学士学位，然后进入麻省理工学院（MIT）读研究生。1938年香农在MIT获得电气工程硕士学位，学位论文题目是“继电器与开关电路的符号分析”（A symbolic analysis of relay and switching circuits）。他把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，分别用1和0表示。

他的数学分析为数字电路打下了理论基础，把计算机科学引上了数字化的道路，为今天形形色色的数字技术铺垫了牢固的基石。

1940年，香农因这一成果获得了美国工程师学会颁发的Alfred Noble奖。同年，香农在MIT获得数学博士学位，学位论文题目是“理论遗传学的代数学”（An algebra for theoretical genetics）。

在科学史上被公认为有奠基性成果的博士论文并不多见，广为人知的当然有爱因斯坦、居里夫人、德布罗意、费曼，数学方面还包括黎曼和纳什，而香农的博士论文被认为是二十世纪最优秀的一篇。

1940-41年间，香农在普林斯顿高等研究院工作，期间开始思考信息理论和数字通信问题。1941年，他加入AT&T电话电报公司的贝尔实验室（Bell Labs）数学部，工作至1956年。其后被MIT聘为客座教授，1958年成为讲座教授，1978年退休成为名誉教授。

在贝尔实验室期间，除了火炮控制系统之外，信息保密和隐藏技术是香农的主要工作内容。1945年，香农向实验室提交了一份机密文件“密码学的数学理论”（A mathematical theory of cryptography）。该研究成果在二战结束后于1949年以“保密系统的通信理论”（Communication theory of secrecy systems）为题正式发表，为现代公钥密码和分组密码设计提供了启发和指导。他随即被美国政府聘为密码事务顾问。

在贝尔实验室，信息理论和数字通信一直是香农的重点科学研究内容。1948年，香农在实验室主办的杂志《Bell System Technical Journal》上分两期发表了一篇论文“通信的数学原理”（A mathematical theory of communication），研究了如何最好地为发送信息编码，引进了量度不确定性的信息熵，还设计了稍后和范诺（Robert Fano）一起完成的“香农-范诺编码”。1949年，他又在该杂志上发表了“噪声下的通信”一文，其中建立了著名的香农采样定理（Shannon sampling theorem）。

香农这期间的一系列工作，建立了现代信息论。

他后来回忆道：“我的第一个想法，就是如何在噪声信道中最好地改善信息传输”。香农在文章中定义了信息的基本单位，采取了贝尔实验室同事John Tukey的建议，定为“比特”。当年，据说是冯·诺尔曼（John von Neumann）说服香农借用热力学的“熵”这个词。冯·诺尔曼认为，当时没有人知道这个“信息熵”是什么，这在学术界关于信息理论辩论中会给香农带来优势。此外，香农说过他的通信理论在数学和哲学原理方面颇多受益于MIT 的同事维纳（Norbert Wiener）。维纳则强调，引入信息熵及数字技术作为该理论的基础是香农个人的功劳。

逼近香农极限

香农在1948年的论文中还引进了通信信道的香农极限（Shannon limit），也称为香农容量（Shannon capacity），就是针对特定噪声水平的信道的最大理论信息传输速率。后来著名的香农定理（噪声信道编码定理）指出: 信息传输速率即信道容量，是带宽，是平均信号功率，是平均噪声功率，为信噪比。香农极限就是其最大值。香农在该论文中解释了如何计算这个极限，但他当时并不知道如何逼近它。多年以后，香农和其他科学家不断地挑战这个重要而棘手的技术问题。现代通信系统从1G、2G、3G、4G到5G的整个发展过程中，全世界的科学家、通信运营商和生厂商们一直在追逐着逼近香农极限。2018年初，NOKIA在新闻发布会上宣称，他们的第三代光子业务引擎PSE-3芯片达到了目前逼近香农极限的最佳值。

兴趣驱动研究

1951年，香农发表了“书面英语的预测和熵”（Prediction and entropy of printed English）一文，说明信息论不但可以应用于计算机语言，而且可以应用于自然语言，他还计算了英语的熵，主张从数理统计的角度去分析人类语言。

香农是一个典型的兴趣驱动型的科学家，他并不考虑自己的研究成果有无商业价值，甚至不关心最后成果是否有用。他说：“我在完全无用的事情上花了大量的时间”。

事实上，香农对各种创新尝试的喜好甚至让他迷恋上智能游戏机。1949年，他发表了论文“为下棋计算机编程”（Programming a computer for playing chess），勾画了关于人工智能的一项开创性工作。次年，他亲手制造了一只名为“忒修斯”（Theseus）的机器老鼠，让机械鼠通过反复试探后自己找到迷宫的出路。忒修斯是希腊神话中的英雄，他为了解救希腊的童男童女，自告奋勇到克里特岛除掉了人头牛身的恶怪“弥诺陶洛斯”（Minotaur），并在可怕的迷宫里成功地找到了出口。

© http://history-computer.com

1951年，香农发表了论文“介绍一个走迷宫的机器”（Presentation of a maze solving machine），解释了这一任务是通过密集继电器系列的运作完成的，取材于贝尔电话系统的交换机元件。那个巧妙的机电设计被视为现代计算机芯片的雏型。1953年，他又设计了一个“心灵阅读”（mind reading）机器，它通过观察和分析弈棋对手过去所做各种选择的样本，能够相当准确地猜测到对手下一步棋的走法。那个成功的逻辑设计被视为现代机器学习和人工智能发展的前奏。香农当年说过：“我认为，几十年后机器智能超越人类是完全可以预期的”。

1960年代，年方半百的香农逐渐消失在公众的视野中。他甚至不再出席由他创办的信息领域专业会议。香农曾经说过：“许多伟大数学家在年轻的时候就已经完成了生命中最重要的研究”。也许是他自认为江郎才尽了？旁人和后人都不得而知。只是到了1985年，有一次他出乎意料地出现在英国布莱顿举行的国际信息论研讨会上，当时很多与会者甚至不知道他仍然在世。事实上到了1980年代，香农的记忆力开始严重衰退，后来患上了老年痴呆症。香农在与疾病抗争了很长一段时间后于2001年2月24日辞世，享年84岁。

© http://history-computer.com

回顾香农辉煌的一生，他年轻时开始已经在世界上被逐渐公认推崇，获得过10个荣誉博士学位（先后依次为密歇根大学、普林斯顿大学、爱丁堡大学、匹兹堡大学、美国西北大学、牛津大学、东英格伦大学、卡内基梅隆大学、塔夫斯大学和宾夕法尼亚大学），成为美国科学院和工程院院士以及英国皇家学会院士。他获得的主要奖项包括1985年的日本京都奖（Kyoto Prize）、1966年的IEEE 荣誉奖章（IEEE Medal of Honor）、1972年IEEE第一届香农奖（Shannon Award）和1996年的美国国家科学奖（National Medal of Science）。遗憾的是，香农研究工作的领域和本质决定了他无缘于诺贝尔奖。

22位科学家 “Meets Shannon”

在香农的生前身后，许多科学家和数学家都遇见过他（“Meets Shannon”）。除了与他同时代或稍后的知名数学家和科学家卡诺（Carnot,1796-1832）、菲克（Fick，1829-1901）、李雅普诺夫(Lyapunov,1857-1918)、马可尼（Marconi，1874-1937）、奈奎斯特（Nyquist，1889-1976）、维纳（Wiener，1894-1964）、冯·诺尔曼（von Neumann，1903-1957）、波德（Bode，1905-1982）、列昂季耶夫（Leontief，1906-1999）、图灵（Turing，1912-1954）、布莱克韦（Blackwell，1919-2010)、贝尔曼（Bellamn，1920-1984）、纳什（Nash，1928-2015）、列康（LeCam，1924-2000）、摩尔（Moore，1929-）、卡尔曼（Kalman，1930-2016）、斯特朗（Strang，1934-）、索兹（Shortz，1952-）之外，还有他的前辈傅里叶（Fourier，1768-1830）、麦克斯韦（Maxwell,1831-1879）、瓦尔拉斯（Walras，1834-1890)、特斯拉（Tesla，1856-1943），他们都遇见过香农（见[附录]）。

香农如此敬业乐群，你也遇见过他么？

附录：Who meets Shannon or Shannon meets whom?

卡诺（Carnot）: O Shental and I Kanter, Shannon meets Carnot: Generalized second thermo-dynamic law, Europhysics Letters, 85(1): 10006, 2009.
卡诺（Carnot）: H Li, Information efficiency of communications for networked control in cyber physical systems: When Carnot meets Shannon, 55th IEEE Conference on Decision and Control, Dec. 12-14, 2016, Las Vegas, NV, USA
菲克（Fick）: AO Bicen, JJ Lehtomäki, and IF Akyildiz, Shannon meets Fick on the microfluidic channel: Diffusion limit to sum broadcast capacity for molecular communication, IEEE Transactions on NanoBioscience, 17(1): 88-94, 2018.
李雅普诺夫(Lyapunov）: T Holliday, P Glynn and A Goldsmith, Shannon meets Lyapunov: Connections between information theory and dynamical systems, 44th IEEE Conference on Decision and Control, Dec. 12-16, 2005, Seville, Spain, 2005.
马可尼（Marconi）: D Tse, Modern wireless communication: When Shannon meets Marconi, 2006 IEEE International Conference on Acoustics, Speech and Signal Processing, May 14-19, 2006, Toulouse, France, 2006.
奈奎斯特（Nyquist）: YX Chen, AJ Goldsmith and YC Eldar, Shannon meets Nyquist: The interplay between capacity and sampling, 49th Annual Allerton Conference on Communication, Control, and Computing, Sept. 28-30, Monticello, IL, USA, 2011.
奈奎斯特（Nyquist）: YX Chen, YC Eldar, and AJ Goldsmith, Shannon meets Nyquist: Capacity of sampled Gaussian channels, IEEE Transactions on Information Theory, 39(8): 4889-4914, 2013.
维纳（Wiener）: GD Forney, On the role of MMSE estimation in approaching the information-theoretic limits of linear Gaussian channels: Shannon meets Wiener, 41st Annual Allerton Conference on Communication, Control and Computing, Oct. 1-3, 2003, Monticello, IL, USA, 2003; and Shannon meets Wiener II: On MMSE estimation in successive decoding schemes, 2004.
冯·诺尔曼（von Neumann）: ST Jose and AA Kulkarni, Shannon meets von Neumann: A minimax theorem for channel coding in the presence of a jammer, arXiv:1811.07358, 2018.
波德（Bode）: N Elia, When Bode meets Shannon: Control-oriented feedback communication schemes, IEEE Transactions on Automatic Control, 49(9): 1477-1488, 2004.
列昂季耶夫（Leontief）: D Zachariah and P Cockshott, Leontief meets Shannon - Measuring the complexity of the economic system, arXiv:1705.02154, 2017.
图灵（Turing）: JP Giannini and T Bowen, Life in code and digits: When Shannon met Turing, Electronic Visualisation and the Arts, July 11-13, 2017, London, UK, 2017.
图灵（Turing）: W Szpankowski and A Grama, Frontiers of science of information: Shannon meets Turing, Computer, 51(1): 28-38, 2018.
布莱克韦（Blackwell）和列康（LeCam）: M Raginsky, Shannon meets Blackwell and LeCam : Channels, codes, and statistical experiments, IEEE International Symposium on Information Theory, July 31 - Aug. 5, 2011, St. Petersburg, Russia, 2011.
贝尔曼（Bellamn）: S Meyn and G Mathew, Shannon meets Bellman: Feature based Markovian models for detection and optimization, 47th IEEE Conference on Decision and Control, Dec. 9-11, 2008, Cancun, Mexico, 2008.
纳什（Nash）: RA Berry and DNC Tse, Shannon meets Nash on the interference channel, IEEE Transactions on Information Theory, 57(5): 2821-2836, 2011.
摩尔（Moore）: L Harrison, Moore’s law meets Shannon’s law: The evolution of the communication's industry, IEEE International Conference on Computer Design: VLSI in Computers and Processors, Sept. 23-26, 2001, Austin, TX, USA, 2001.
摩尔（Moore）: S Scholl, S Weithoffer and N When, Advanced iterative channel coding schemes: When Shannon meets Moore, 9th International Symposium on Turbo Codes and Iterative Information, Sept. 5-9, 2016, Brest, France, 2016.
卡尔曼（Kalman）: A Gattami, Kalman meets Shannon, arXiv:1404.4350, 2014.
斯特朗（Strang）: PL Dragotti, M Vetterli, and T Blu, Sampling moments and reconstructing signals of finite rate of innovation: Shannon meets Strang–Fix, IEEE Transactions on Signal Processing, 55(5): 1741-1757, 2007.
索兹（Shortz）: M Efron, Shannon meets Shortz: A probabilistic model of crossword puzzle difficulty, Journal of the American Society for Information Science and Technology, 59(6): 875-886, 2008.
傅里叶（Fourier）: ZD Wang and GB Giannakis, Wireless multicarrier communications: Where Fourier meets Shannon, IEEE Signal Processing Magazine, 17(3): 29-48, 2000.
麦克斯韦（Maxwell）: K Chakraborty and M Franceschetti, Maxwell meets Shannon: Space-time duality in multiple antenna channels, 44th Annual Allerton Conference on Communication, Control, and Computing, Sept. 27-29, 2006, Monticello, IL, USA, 2006.
麦克斯韦（Maxwell）: SH Lee and SY Chung, Capacity scaling of wireless ad hoc networks: Shannon meets Maxwell, IEEE Transactions on Information Theory, 58(3): 1702-1715, 2012.
瓦尔拉斯（Walras）: E Jorswieck and R Mochaourab, Shannon meets Walras on interference networks, International Workshop on Information Theory and Applications, Feb. 10-15, 2013, San Diego, CA, USA, 2013.
特斯拉（Tesla）: P Grover and A Sahai, Shannon meets Tesla: Wireless information and power transfer, International Symposium on Information Theory, June 13-18 2010, Austin, TX, USA, 2010.